iT邦幫忙

2023 iThome 鐵人賽

DAY 18
1
AI & Data

初次抓舉AI的世界系列 第 18

評估指標 D3 - 其他常見評估指標

  • 分享至 

  • xImage
  •  

今天要來分享分割模型、回歸模型的常見評估指標
/images/emoticon/emoticon12.gif


分割模型

通常用於醫學影像或圖像分割這樣的任務

Jaccard 係數(Jaccard Coefficient)

有時也稱為 IoU(Intersection over Union),用於衡量預測的分割結果和真實分割之間的相似程度
它的計算方式是將分割結果和真實分割的交集大小除以它們的聯集大小
https://chart.googleapis.com/chart?cht=tx&chl=Jaccard(X%2C%20Y)%20%3D%20%5Cfrac%7BX%20%5Cbigcup%20Y%7D%7BX%20%5Cbigcap%20Y%7D
也就是評估模型預測的區域與實際區域之間的重疊度
只要是模型在輸出時會得出一個預測範圍(bounding box)的任務都可以用 IoU 來進行測量

Dice 係數(Dice Coefficient)

這個指標類似於 Jaccard 係數,它也用於衡量分割的相似性
Dice 係數的計算方式是兩倍的交集大小除以預測分割和真實分割的總大小之和
https://chart.googleapis.com/chart?cht=tx&chl=Dice(X%2C%20Y)%20%3D%20%5Cfrac%7B2%7CX%20%5Cbigcap%20Y%7C%7D%7B%7CX%7C%20%5Cbigcup%20%7CY%7C%7D
它也被稱為F1-Score,因為它實際上是在計算真陽性率(True Positive Rate,TPR)和陽性預測值(Positive predictive value,PPV)的調和平均數

  • https://chart.googleapis.com/chart?cht=tx&chl=TPR%20%3D%20%5Cfrac%7BTP%7D%7BTP%20%2B%20FN%7D
  • https://chart.googleapis.com/chart?cht=tx&chl=PPV%20%3D%20%5Cfrac%7BTP%7D%7BTP%20%2B%20FP%7D

上面這兩個指標的範圍都是介於 0 到 1 之間,越大代表越相似,且這兩個指標是正相關


回歸模型

通常用於預測數值,例如房價或股票價格

MAE(Mean Absolute Error)

MAE 會衡量模型預測值和真實值之間的平均絕對差距,它會把所有誤差取絕對值後,求其平均,也就是誤差離真實值的平均距離
MAE 的好處是它對於離群值不太敏感,這是因為它使用的是絕對值,而不是平方,所以可以這樣說,MAE 對於所有誤差都一視同仁

MSE(Mean Square Error)

與 MAE 不同,MSE 計算的是預測值和實際值之間的平均平方差,簡單來說,它衡量的是每一次預測值與實際值之間的差異的平均值,也就是誤差平均起來有多大
這個指標的優點是能夠反映出每個誤差的影響,並且對那些極端的誤差比較敏感,當有一個極端的誤差值存在,它就會對整個 MSE 產生較大的影響,因為計算平方值會使這些極端誤差變得更加明顯


參考

影像切割任務常用的指標-IoU和Dice coefficient


上一篇
評估指標 D2 - ROC curve 與 PR Curve
下一篇
影像分割任務 D1 - 介紹
系列文
初次抓舉AI的世界30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言